Phụ nữ thường xiêu lòng một cách rất tự nhiên và nhanh chóng trước một Hijikata điển trai và lịch thiệp, tuy rằng ít có tư liệu nào cho thấy ông tận dụng ưu thế này của mình, nhưng chính Kondo đã từng gửi một lá thư cho Hijikata mà trong đó than vãn về số lượng lớn nhân tình của Cục phó, cũng như việc Cục trưởng từng nhận được rất nhiều thư tình gửi cho Cục phó từ những người phụ nữ ở Kyoto. Ngoài ra, trong luật đội, các cán bộ cấp cao có quyền sở hữu dinh thự riêng dành cho các nhân tình của họ, xét về lĩnh vực này, Cục phó Hijikata được xem là người đứng đầu bảng.

Vài câu chuyện được kể lại trong khoảng thời gian sau trận Kofu, khi mà Shinsengumi đóng bản doanh ở Goheishinden (Nay là Adachi, Tokyo), Hijikata, lúc ấy đang dùng tên giả Naito Hayato, thường câu cá bên bờ sông, và không ai nhận ra đấy chính là Cục phó Shinsengumi. Những lúc như thế, mọi cô gái trong làng đều tập trung bên bờ sông để theo dõi và chiêm ngưỡng "Chàng samurai đẹp trai", và khi được hỏi lại thì tất cả những người thiếu nữ ấy đều đồng ý rằng anh ta rất tốt và đặc biệt rất đẹp trai.

Hijikata có rất nhiều nhân tình, nên những dẫn chứng sau đây có thể không đầy đủ. Khoảng thời gian còn ở Shieikan, ông thường đến Yoshiwara để thăm người phụ nữ mà ông yêu thích. Lúc ở Kyoto, cũng có người phụ nữ tại khu Shimabara, khu Gion thì 3 người, ngay cả khu Shimmachi ở Osaka cũng có từ 2-3 người mà ông thường lui đến.

Tuy nhiên, có một người khá đặc biệt, người phụ nữ mang tên "Okiku" (Nhiều sử gia không chắc lắm về cái tên này). Theo lời đồn thì Okiku có một con gái với Hijikata, nhưng đứa bé đã chết ngay sau khi sinh. Cuối cùng người phụ nữ này cũng nói lời tạm biệt và kết hôn với một người đàn ông khác. Người ta bảo rằng cô Okiku chết khá trẻ.

Mặc dù Hijikata có thêm nhiều nhân tình khác nhưng ông chưa bao giờ có một mối quan hệ nào chắc chắn với họ. Điều này thực sự đã trở thành chính sách chung của Shinsengumi. Có vài trường hợp ngoại lệ, nhưng phần lớn những người đã lập gia đình hoặc kế thừa gia tộc sẽ khó gia nhập nhóm, đơn giản vì những rủi ro là rất lớn. Khi tiến quân lên Hakodate, Toshizo không còn vấn vương gì phụ nữ, và theo như mọi người biết, thì ông không có con.

Trước khi đến Kyoto, Hijikata từng đính hôn với một người phụ nữ tên Okoto, do đại huynh Tamejiro, người hay chơi đàn Shamisen, sắp đặt. Cha mẹ Okoto sở hữu một cửa hiệu Shamisen mà anh trai ông thường ghé thăm, vì vậy mà Tamejiro đã có ý giới thiệu em trai mình với Okoto và cả hai gia đình đều hối thúc đôi trẻ kết hôn ngay. Với Hijikata, ông không hề khó chịu với việc đính ước này, thậm chí, khi vừa đến Kyoto, ông vẫn tiếp tục bày tỏ sự chân thành mong muốn được kết hôn cùng Okoto, nên đã mua quà tặng và đến thăm cô trong một lần trở về Edo. Tuy nhiên, tình hình ở Kyoto dần trở nên hỗn loạn hơn dự tính của cả hai, và sự thăng tiến của Hijikata cũng như Shinsengumi khiến ông nhận ra rằng sự nghiệp trong Shinsengumi luôn nguy hiểm cho chính ông và những người thân khác nên quyết định tạm gác chuyện hôn sự, có nguồn còn cho rằng chính vì lý do trên mà Hijikata không còn sự lựa chọn nào khác ngoài việc hủy hôn. Ngoài ra, có người bảo Toshizo từng nói muốn kết hôn sau khi chiến thắng trở về, tiếc là ông không làm được. Có lẽ nhờ từng tiếp xúc với vị hôn thê và ảnh hưởng bởi người anh cả mà Toshizo chơi đàn Shamisen rất hay.